flink 您所在的位置:网站首页 flink shaded hadoop2 uber flink

flink

#flink| 来源: 网络整理| 查看: 265

flink-shaded-hadoop2-uber 是 Apache Flink 社区中提供的一个 Maven 依赖,它是一个 Uber JAR 包,包含了 Hadoop 2.x 版本的部分库的 shaded 版本和 Flink 的部分库。通过使用这个 Uber JAR 包,可以避免在 Flink 应用程序中出现依赖冲突的问题。

具体来说,flink-shaded-hadoop2-uber 包括了 Hadoop 2.x 版本的 hadoop-common、hadoop-auth、hadoop-hdfs、hadoop-mapreduce-client-core、hadoop-yarn-api、hadoop-yarn-client 和 hadoop-yarn-common 这些库的 shaded 版本,以及 Flink 的 flink-shaded-hadoop2-uber 和 flink-shaded-netty 这些库的部分库。需要注意的是,flink-shaded-hadoop2-uber 只适用于 Hadoop 2.x 版本。

如果您需要在 Flink 应用程序中使用 Hadoop 2.x 版本的库,并且避免依赖冲突的问题,可以在 Maven 依赖中加入以下内容:

org.apache.flink flink-shaded-hadoop2-uber ${flink.version}

其中,${flink.version} 表示 Flink 的版本号,可以根据实际情况进行替换。使用了这个 Maven 依赖之后,就可以在 Flink 应用程序中使用 Hadoop 2.x 版本的库了。

值得注意的是,由于 flink-shaded-hadoop2-uber 包含了部分 Hadoop 2.x 版本的库的 shaded 版本,因此在使用这个包的时候,可能会出现一些与 Hadoop 相关的问题。如果遇到这种情况,可以尝试使用未经 shaded 的 Hadoop 2.x 版本的库,并手动解决依赖冲突的问题。



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有